Harness-Zero: Harness Distillation via Agent-as-Harness
Harness-Zero:通过 Agent-as-Harness 实现 Harness 蒸馏
🧭 LLM Agent 蒸馏与外部策略内化
Peking University · Google · The Hong Kong University of Science and Technology
用 agent-as-harness 把优化 harness 的引导转为目标动作空间修正示范并微调,移除专用 harness 后成功率 23.3%→44.3%
📌 工作参考价值(4 点)
- 业务中若存在按场景/人群/地区切换的规则引擎、多路召回/重排策略、风控或兜底 harness,可借鉴“专家 harness 引导 + 修正 agent 生成目标动作空间示范 + SFT”的流程,把外部策略内化到统一模型,降低线上策略路由与维护成本。
- 若优化 harness 与学生目标 harness 的动作空间或可用信息不一致,不要直接拿专家输出做监督;引入 bridging agent 在目标动作空间重写学生响应,是比 code-as-harness 更稳的蒸馏方式。
- 实验显示内化后移除专用 harness,模型成功率从 23.3% 升至 44.3%,超过保留原 harness 的 41.7%;可尝试用微调替代部分外部系统,减少推理延迟与策略冲突。
- 对推荐/搜索 Agent 场景,可将不同场景的 query 改写、选品或 push 选词策略作为 expert harness,蒸馏到一个 base model,支持多场景统一服务,尤其适用于对话式购物/搜索助手中的策略简化。